In this paper, we present the Diver Interest via Pointing (DIP) algorithm, a highly modular method for conveying a diver's area of interest to an autonomous underwater vehicle (AUV) using pointing gestures for underwater human-robot collaborative tasks. DIP uses a single monocular camera and exploits human body pose, even with complete dive gear, to extract underwater human pointing gesture poses and their directions. By extracting 2D scene geometry based on the human body pose and density of salient feature points along the direction of pointing, using a low-level feature detector, the DIP algorithm is able to locate objects of interest as indicated by the diver.
translated by 谷歌翻译
We present the design, development, and evaluation of HREyes: biomimetic communication devices which use light to communicate information and, for the first time, gaze direction from AUVs to humans. First, we introduce two types of information displays using the HREye devices: active lucemes and ocular lucemes. Active lucemes communicate information explicitly through animations, while ocular lucemes communicate gaze direction implicitly by mimicking human eyes. We present a human study in which our system is compared to the use of an embedded digital display that explicitly communicates information to a diver by displaying text. Our results demonstrate accurate recognition of active lucemes for trained interactants, limited intuitive understanding of these lucemes for untrained interactants, and relatively accurate perception of gaze direction for all interactants. The results on active luceme recognition demonstrate more accurate recognition than previous light-based communication systems for AUVs (albeit with different phrase sets). Additionally, the ocular lucemes we introduce in this work represent the first method for communicating gaze direction from an AUV, a critical aspect of nonverbal communication used in collaborative work. With readily available hardware as well as open-source and easily re-configurable programming, HREyes can be easily integrated into any AUV with the physical space for the devices and used to communicate effectively with divers in any underwater environment with appropriate visibility.
translated by 谷歌翻译
许多水下任务,例如电缆和折磨检查,搜索和救援,受益于强大的人类机器人互动(HRI)功能。随着基于视觉的水下HRI方法的最新进展,即使在任务期间,自动驾驶水下车辆(AUV)也可以与他们的人类伴侣进行交流。但是,这些相互作用通常需要积极参与,尤其是人类(例如,在互动过程中必须继续看机器人)。因此,AUV必须知道何时开始与人类伴侣互动,即人是否关注AUV。在本文中,我们为AUV提供了一个潜水员的注意估计框架,以自主检测潜水员的注意力,然后(如果需要)在潜水员方面进行导航和重新定位以启动交互。该框架的核心要素是一个深神经网络(称为datt-net),它利用潜水员的10个面部关键点之间的几何关系来确定其头部方向。我们的基础实验评估(使用看不见的数据)表明,所提出的Datt-Net架构可以以有希望的准确性来确定人类潜水员的注意力。我们的现实世界实验还确认了Datt-NET的功效,该实验可以实时推理,并使AUV可以将自己定位为AUV-Diver相互作用。
translated by 谷歌翻译
在本文中,我们提出了一个基于运动的机器人通信框架,该框架能够在自动水下车辆(AUV)和人类潜水员之间进行非语言交流。我们为AUV到AUV通信设计一种手势语言,可以通过观察对话的潜水员轻松理解与典型的射频,光或基于音频的AUV通信来理解。为了让AUV在视觉上从另一个AUV中理解一个手势,我们提出了一个深层网络(RRCommnet),该网络利用了自我发挥的机制来学会通过提取最大歧视性时空特征来学会识别每个消息。我们将该网络培训在不同的模拟和现实世界中。在模拟和闭水机器人试验中,我们的实验评估表明,所提出的RRCommnet体系结构能够在模拟数据上平均准确性为88-94%,在真实数据上平均准确性为88-94%(真实数据的平均精度为88-94%)取决于所使用的模型的版本)。此外,通过与人类参与者进行消息转录研究,我们还表明,人类可以理解所提出的语言,总体转录精度为88%。最后,我们讨论了嵌入式GPU硬件上rrCommnet的推理运行时,以便在现场的AUV上实时使用。
translated by 谷歌翻译
我们提出了一种新颖的方法,可用于快速准确的立体声视觉同时定位和映射(SLAM),独立于特征检测和匹配。通过优化3D点的规模,将单眼直接稀疏的内径术(DSO)扩展到立体声系统,以最小化立体声配置的光度误差,从而与传统立体声匹配相比产生计算有效和鲁棒的方法。我们进一步将其扩展到具有环路闭合的完整SLAM系统,以减少累积的错误。在假设前向相机运动中,我们使用从视觉径管中获得的3D点模拟LIDAR扫描,并适应LIDAR描述符以便放置识别以便于更有效地检测回路封闭件。之后,我们通过最小化潜在环封闭件的光度误差来估计使用直接对准的相对姿势。可选地,通过使用迭代最近的点(ICP)算法来实现通过直接对准的进一步改进。最后,我们优化一个姿势图,以提高全球的猛烈精度。通过避免在我们的SLAM系统中的特征检测或匹配,我们确保高计算效率和鲁棒性。与最先进的方法相比,公共数据集上的彻底实验验证展示了其有效性。
translated by 谷歌翻译
人类和自主水下车辆(AUV)之间的直接沟通是人体机器人互动(HRI)研究中相对缺乏缺陷的地区,尽管许多任务(例如监视,检查和救援)需要密切的潜水机器人协作。该领域的许多核心功能需要进一步研究以改善机器人能力以易于相互作用。其中一个是自治机器人接近和定位自己相对于潜水员的挑战,以启动和促进相互作用。次优AUV定位可能导致质量差的相互作用,导致潜水员的过度认知和物理负荷。在本文中,我们介绍了一种用于AUV的新方法,以自主导航和实现潜水相对定位以开始交互。我们的方法仅基于单眼视觉,不需要全局本地化,并计算效率。我们展示了我们的算法以及在模拟和物理AUV上的所述算法的实现,以受控池中的闭水测试形式进行广泛的评估。我们的结果分析表明,所提出的单眼视觉算法可靠,完全在AUV上完全操作。
translated by 谷歌翻译
在逻辑中使用元规则,即其内容包含其他规则的规则,最近在非单调推理的情况下引起了人们的关注:第一个逻辑形式化和有效算法来计算此类理论的(元)扩展在Olivieri等人(2021年)中提出的这项工作通过考虑悬浮方面扩展了这种逻辑框架。由此产生的逻辑不仅能够建模政策,还可以解决许多法律系统中发生的知名方面。已经研究了我们刚才提到的应用区域中使用不良逻辑(DL)对元符号建模的使用。在这一研究中,上述研究并不关注元符号的一般计算特性。这项研究以两个主要贡献填补了这一空白。首先,我们介绍并形式化了两种具有元符号的可性义能逻辑的变体,以代表(1)具有能态模态的可d不平式元理论,(2)规则之间的两种不同类型的冲突:简单的冲突可不诚实的无义冲突和谨慎的冲突,谨慎的冲突和谨慎的冲突可义的义逻辑。其次,我们推进有效算法以计算两个变体的扩展。
translated by 谷歌翻译
双线性动力系统在许多不同的域中无处不在,也可以用于近似更通用的控制型系统。这激发了从系统状态和输入的单个轨迹中学习双线性系统的问题。在温和的边际均方稳定性假设下,我们确定需要多少数据来估算未知的双线性系统,直至具有高概率的所需精度。就轨迹长度,系统的维度和输入大小而言,我们的样本复杂性和统计错误率是最佳的。我们的证明技术依赖于Martingale小球条件的应用。这使我们能够正确捕获问题的属性,特别是我们的错误率不会随着不稳定性的增加而恶化。最后,我们表明数值实验与我们的理论结果良好。
translated by 谷歌翻译
我们考虑使用个性化的联合学习,除了全球目标外,每个客户还对最大化个性化的本地目标感兴趣。我们认为,在一般连续的动作空间设置下,目标函数属于繁殖的内核希尔伯特空间。我们提出了基于替代高斯工艺(GP)模型的算法,该算法达到了最佳的遗憾顺序(要归结为各种因素)。此外,我们表明,GP模型的稀疏近似显着降低了客户之间的沟通成本。
translated by 谷歌翻译
基于内核的模型,例如内核脊回归和高斯工艺在机器学习应用程序中无处不在,用于回归和优化。众所周知,基于内核的模型的主要缺点是高计算成本。给定$ n $样本的数据集,成本增长为$ \ Mathcal {o}(n^3)$。在某些情况下,现有的稀疏近似方法可以大大降低计算成本,从而有效地将实际成本降低到$ \ natercal {o}(n)$。尽管取得了显着的经验成功,但由于近似值而导致的误差的分析范围的现有结果仍然存在显着差距。在这项工作中,我们为NyStr \“ Om方法和稀疏变分高斯过程近似方法提供新颖的置信区间,我们使用模型的近似(代理)后差解释来建立这些方法。我们的置信区间可改善性能。回归和优化问题的界限。
translated by 谷歌翻译